Structured Memory for Edge Language Models: Persistent Context and Corpus Retrieval via O(1) SSM State Injection
边缘语言模型的结构化记忆：O(1) SSM 状态注入实现持久上下文与语料检索
🧭 SSM 状态注入实现 O(1) RAG
BrainChip Inc.
利用 SSM 固定大小隐藏状态实现 O(1) 预填充的语料检索与记忆巩固，在边缘设备上实现 4500 倍加速
📌 工作参考价值（4 点）
- 高并发低延迟场景可直接复用：将商品/广告语料库离线预编码为 SSM 隐藏状态，线上查询时注入匹配状态，跳过在线重编码，显著降低首 token 延迟
- 多 Agent 协作中共享记忆体：各 Agent 可维护各自的结构化记忆，查询时动态融合检索到的语料状态与自身瞬时状态，实现 O(1) 会话初始化
- 用户长期偏好建模：借鉴 SMC 分层记忆机制，将短期交互序列浓缩为固定大小语义状态，持久化存储，与新检索上下文状态直接融合，无需重新处理历史
- 轻量级边缘推荐：在手机或 IoT 设备上部署小型 SSM，预编码推荐知识库作为隐藏状态，实现端侧零上下文实时推荐